Sau cái chết của Dã Tốc Cai năm 1171, cả gia tộc Bột Nhi Chỉ Cân đã bị bộ lạc bỏ lại, theo lệnh của thủ lĩnh mới Tháp Nhĩ Hốt Đài. Hạ Ngạch Luân và gia đình phải mưu sinh bằng săn bắn và hái lượm ở vùng thung lũng sông Oát Nan. Sau này sự kình địch giữa hai anh em cùng cha khác mẹ Thiết Mộc Chân và Biệt Khắc Thiếp Nhi đã dẫn đến việc Biệt Khắc Thiếp Nhi bị giết. Hạ Ngạch Luân vì việc này đã trừng phạt Thiết Mộc Chân nghiêm khắc. Mặc dù con trai mình bị giết bởi con trai của vợ cả nhưng Tốc Xích Cát Lặc - vợ thứ của Dã Tốc Cai vẫn không tỏ thái độ bực tức hay oán hận và họ vẫn tiếp tục sống chung với nhau. Khi Thiết Mộc Chân bị quân của Tháp Nhĩ Hốt Đài bắt làm tù binh, cả gia đình phải di cư đến chân núi Burkhan Khaldun và sau khi Thiết Mộc Chân trốn thoát và gặp lại gia đình, cả gia đình quyết định chuyển đến bên kia chân núi để tránh tai mắt của Tháp Nhĩ Hốt Đài.